Imagina un erudito de élite que ha leído todos los libros del mundo, pero nunca ha puesto un pie en una sala de bolsa ni en un hospital. Aunque posee razonamiento amplio, carece de la lógica específica del nicho necesaria para decisiones de alto riesgo. Este es el desafío al que se enfrentan los modelos básicos de lenguaje de gran tamaño (LLMs).
El camino hacia la experticia
- Aprendizaje por transferencia y adaptación: No descartamos el dominio general; lo aprovechamos como base. La adaptación de dominio es la aplicación específica donde reajustamos el espacio latente de un modelo para reconocer nuevas fronteras semánticas.
- Preentrenamiento continuado: En lugar de comenzar desde cero, realizamos aprendizaje adicional autodirigido sobre corpora especializados (por ejemplo, declaraciones de la SEC). Esto actualiza las distribuciones de probabilidad internas del modelo respecto al vocabulario.
- Entrenamiento de tareas intermedias: Esta etapa enseña al modelo la "lógica" del dominio—como el razonamiento financiero o el análisis legal—antes del ajuste fino final sobre el objetivo final.
El paradoja de la "liquidez"
En un contexto general, liquidez podría significar el estado físico de una sustancia. Gracias a la adaptación de dominio, el modelo aprende a priorizar la "disponibilidad de activos líquidos" cuando detecta sintaxis financiera, evitando interpretaciones potencialmente catastróficas en informes profesionales.